👣 В этой статье рассказывается о построении Retrieval-Augmented Generation (RAG) приложения с использованием Go, Ent, Atlas и pgvector! Автор объясняет, как комбинировать эти технологии для создания эффективной системы поиска и генерации ответов на основе векторных представлений данных.

🔗 Ссылка: *клик*

🖥 AnyQuery — это кроссплатформенное настольное приложение, разработанное для выполнения SQL-запросов к практически всем базам данных!

🌟 Оно поддерживает JSON, CSV, Parquet, SQLite, Google Sheets и многое другое, а также предоставляет интуитивно понятный интерфейс, позволяющий пользователям управлять подключениями, визуализировать данные в табличном формате и использовать автодополнение при написании SQL-кода.

🔐 Лицензия: AGPL

🖥 Github

🔥 The Ultra-Scale Playbook: руководство по обучению крупных языковых моделей на GPU-кластерах!

💡 Это руководство посвящено обучению больших языковых моделей на масштабируемых GPU-кластерах. В рамках этого проекта было проведено более 4000 экспериментов по масштабированию на кластере с использованием до 512 GPU, с целью измерения пропускной способности и эффективности обучения.

🔗 Ссылка: *клик*

#курс #machinelearning

👣 NativeWebP — это библиотека на Go, предназначенная для кодирования изображений в формате WebP без зависимости от внешних библиотек, таких как libwebp!

🌟 Её основное преимущество — высокая производительность и эффективность, позволяющая создавать файлы меньшего размера по сравнению со стандартным Go-энкодером PNG, при этом обеспечивая примерно на 50% более быструю скорость работы.

🔐 Лицензия: MIT

🖥 Github

@golang_google

🔥 Это — подробное руководство по использованию GitHub Actions для автоматизации процессов разработки, таких как сборка, тестирование и деплой приложений!

🔗 Ссылка: *клик*

👣 В этой статье автор описывает процесс разработки масштабируемого распределённого чат-приложения, используя Golang для серверной части, React.js для фронтенда и Redis для управления сообщениями!

🔗 Ссылка: *клик*

👣 practice-go — коллекция задач по Go-программированию, предназначенных для практики и совершенствования навыков разработки!

🌟 Каждая задача расположена в отдельной директории и снабжена файлом README.md с описанием задания, а также тестовым файлом *_test.go для проверки корректности решения. Участникам предлагается реализовать требуемую функцию, избегая использования сторонних пакетов, после чего запустить тесты для оценки производительности.

🖥 Github

@golang_books

👣 «Goroutines in Go: A Practical Guide to Concurrency» статя, которая посвящена тому, как в языке программирования Go реализована конкурентность с помощью горутин и каналов.

Автор подробно объясняет, почему традиционное последовательное выполнение может приводить к узким местам в работе приложения и как горутины помогают решать эту проблему, обеспечивая эффективное распределение задач и улучшение отзывчивости программ.

Основные моменты статьи:

- Последовательное vs конкурентное выполнение:
Рассматривается, как традиционные программы выполняют задачи по очереди, что может создавать задержки, особенно при выполнении долгих операций, и почему для современных приложений важно использовать конкурентное выполнение.

- Конкурентность и параллелизм:
Объясняется разница между конкурентностью (одновременная работа нескольких задач, даже на одном ядре) и параллелизмом (реальное одновременное выполнение на разных ядрах).

- Горутины в Go:
Показано, как с помощью ключевого слова go можно запускать функции в виде легковесных потоков (горутин), что позволяет выполнять задачи параллельно без накладных расходов, свойственных обычным потокам ОС.

- Синхронизация горутин:
Рассмотрены способы синхронизации, в том числе использование sync.WaitGroup для ожидания завершения всех горутин, что является более надежным методом по сравнению с time.Sleep.

- Коммуникация через каналы:
Описаны принципы работы с каналами (как с буферизированными, так и безбуферными), которые позволяют безопасно передавать данные между горутинами и синхронизировать их работу.

- Предотвращение гонок данных:
Обсуждаются подходы к избежанию гонок, когда несколько горутин одновременно обращаются к общим данным, с использованием каналов и мьютексов (sync.Mutex).

- Паттерны конкурентности:
Приводятся популярные шаблоны проектирования, такие как Fan-Out/Fan-In и Worker Pools, которые помогают масштабировать выполнение задач в реальных приложениях.

- Практический пример:
В статье приведён пример реализации простого конкурентного веб-сервера, где горутины используются для обработки запросов (например, вычисления факториала), что демонстрирует практическую пользу конкурентного подхода.

- Лучшие практики:
Завершается статья рекомендациями по эффективному использованию горутин в производственном коде: управление количеством запущенных горутин, правильное использование синхронизации и применение инструментов для выявления гонок.

▪ Читать

@golang_books

👣 Microsoft анонсировала радикальное улучшение производительности TypeScript за счет новой нативной реализации компилятора, написанной на Go.

Самое главное:

▪ В 10 раз (!) быстрее компиляция, в 2 раза меньше памяти просит;
▪ На видео как раз тест нового компилятора: 0.63 секунды против 3.35 на старом;
▪ Проект пилят с августа 2024, готово уже 80%;

Полный переход займёт годы 😢;
▪ В версии на Go не работает «манкипатчинг», что сделает API TypeScript более безопасным;
⚫ Планируют интеграцию с LLM (надеюсь, локальными);
⚫ Полный переход на TypeScript-Go не отменяет поддержку старой версии;
⚫ Кодовая база TypeScript в Go расходится с оригиналом, так что некоторые фичи (вроде JSDoc и JSX) могут полететь.


Проект в разработке с августа 2024, готово уже 80%.


Полное интервью с апдейтами тут глянуть на YouTube

▪Github: https://github.com/microsoft/typescript-go
▪Microsoft blog: https://devblogs.microsoft.com/typescript/typescript-native-port/

#dotnet #golang #programming #typescript #webdev

@golang_google

👣 bubbletea — фреймворк на Go для создания интерактивных текстовых пользовательских интерфейсов (TUI)!

🌟 Bubble Tea основан на архитектуре Model-Update-View (MUV), вдохновлённой Elm, что позволяет писать чистый, модульный и поддерживаемый код. Этот фреймворк идеально подходит для создания консольных приложений, игр, инструментов визуализации данных и других текстовых интерфейсов.

🔐 Лицензия: MIT

🖥 Github

@golang_interview

👣 "Benchmarking: What you cannot miss in Go 1.24" статья, которая посвящена ключевым моментам бенчмаркинга в новой версии Go 1.24.

📌 Основная cуть:
    • Рассматриваются лучшие практики и новые возможности для написания и проведения бенчмарков в Go 1.24.
    • Автор делится опытом, демонстрирует примеры, объясняет, как правильно измерять производительность и избегать распространённых ошибок.

📌 Польза для разработчиков:
    • Помогает оптимизировать приложения на Go, выявляя узкие места в производительности.
    • Раскрывает улучшения и особенности новой версии, что важно для точного и эффективного тестирования кода.
    • Предоставляет практические рекомендации, которые можно сразу применять в реальных проектах.

Эта статья будет особенно полезна тем, кто стремится повысить производительность своих приложений и глубже разобраться в нюансах бенчмаркинга на Go.

📌 Читать

@golang_google

👣 ОAtomixDB — это инновационный инструмент для управления данными, созданный разработчиком Sahilb315 на GitHub.

▪ Атомарность операций: гарантирует, что каждая транзакция выполняется полностью или не выполняется вовсе, что существенно снижает риск ошибок и потери данных.
▪ Простота интеграции: интуитивно понятный API позволяет легко внедрять AtomixDB в проекты разного масштаба, от небольших приложений до распределённых систем.
▪ Масштабируемость: инструмент спроектирован с учётом современных требований к производительности, что делает его подходящим для высоконагруженных систем.
▪ Открытый исходный код: вы можете свободно изучать, модифицировать и расширять функциональность AtomixDB под специфические нужды вашего проекта.

Если вы ищете надёжное, эффективное и гибкое решение для управления данными с гарантией целостности, AtomixDB — отличный выбор для реализации современных приложений.

📌 Github

👣 Новый пост официального блога Go рассказывает о том, как концепция «core types», введённая вместе с обобщениями в Go 1.18 для упрощения работы с операндами типа-параметров, оказалась излишне сложной. Основные моменты таковы:

Истоки и проблемы: В Go 1.18 появились типовые параметры и ограничения, которые требовали введения core types для унификации операций над обобщёнными типами. Однако это добавило сложности как в спецификацию языка, так и в понимание работы некоторых операций (например, срезов и индексирования) даже для негeneric-кода.

Изменения в Go 1.25: В предстоящем релизе Go 1.25 концепция core types была полностью удалена из спецификации. Вместо этого теперь используются более явные и понятные правила, что упрощает изучение языка и повышает ясность спецификации без изменения поведения существующего кода.

Таким образом, пост подчёркивает, что отказ от core types делает спецификацию Go проще и понятнее, одновременно открывая возможности для будущих улучшений языка.

🔗 Читать

@Golang_google

👣 «Golang на PlayStation 2» очень интересный кей, в котором автор делится опытом запуска кода на консоли PlayStation 2 с использованием Go.

Поскольку стандартный компилятор Go не поддерживает PS2 и требует наличия операционной системы, автор использует TinyGo — компилятор для встраиваемых систем, который преобразует Go-код в LLVM IR, а затем в машинный код для целевой платформы.​


Основные трудности связаны с архитектурой процессора PS2, известного как Emotion Engine, основанного на MIPS R5900.

Этот процессор поддерживает инструкции MIPS-III и MIPS-IV с некоторыми особенностями и отсутствием определённых функций. Автор использует SDK ps2dev, предоставляющий библиотеки для графики, ввода-вывода и других операций, однако сталкивается с необходимостью обеспечения совместимости с ABI N32 и другими специфическими требованиями.​
Ricardo

Проект находится в стадии разработки, и планируется дальнейшая работа над поддержкой специфичных для PS2 функций, обработкой чисел с плавающей запятой и улучшением совместимости с LLVM.​

📌 Читать

👣 “Common Go Performance Patterns” — распространённые паттерны производительности в Go.

В ней рассматриваются ключевые техники, сгруппированные в четыре основные категории:​


1. Управление памятью и эффективность:

- Pooling объектов: Повторное использование объектов для снижения нагрузки на сборщик мусора и уменьшения накладных расходов на выделение памяти.​

- Предварительное выделение памяти: Заранее задавать емкость срезов и карт для предотвращения дорогостоящих операций изменения размера.​

- Выравнивание полей структур: Оптимизация расположения полей в структурах для минимизации заполнения и улучшения локальности данных.​

- Избегание упаковки интерфейсов: Предотвращение скрытых выделений памяти путем отказа от ненужных преобразований типов к интерфейсам.​


- Техники нулевого копирования: Минимизация копирования данных с использованием срезов и буферов.​

- Эффективность памяти и сборщик мусора Go: Снижение нагрузки на сборщик мусора путем минимизации использования кучи и повторного использования памяти.​

- Стековые выделения и анализ ускользания: Использование анализа ускользания для размещения значений в стеке, когда это возможно.​

2. Конкурентность и синхронизация:

Пулы рабочих горутин: Контроль уровня конкурентности с помощью пулов фиксированного размера для ограничения использования ресурсов.​

Атомарные операции и примитивы синхронизации: Использование атомарных операций или легковесных блокировок для управления общим состоянием.​

Ленивая инициализация: Отсрочка выполнения затратных операций до момента, когда они действительно необходимы.​

Совместное использование неизменяемых данных: Безопасное совместное использование данных между горутинами без блокировок путем обеспечения их неизменяемости.​
goperf.dev

Эффективное управление контекстом: Использование пакета context для передачи тайм-аутов и сигналов отмены между горутинами.​


3. Оптимизация ввода/вывода и пропускная способность:

Эффективное буферизирование: Использование буферизованных читателей/писателей для минимизации вызовов ввода/вывода.​

Группировка операций: Объединение нескольких мелких операций для уменьшения количества раунд-трипов и повышения пропускной способности.​

4. Оптимизация на уровне компилятора и настройка:

Использование флагов оптимизации компилятора: Применение флагов сборки, таких как -gcflags и -ldflags, для настройки производительности.​

Стековые выделения и анализ ускользания: Анализ того, какие значения переходят в кучу, чтобы помочь компилятору оптимизировать размещение памяти.​
goperf.dev

Эти техники помогают разработчикам Go создавать более эффективные и производительные приложения, снижая задержки, улучшая использование памяти и повышая эффективность конкурентных операций.

🔗 Читать

@golang_books

👣 "Leak and Seek: A Go Runtime Mystery" на сайте Cyolo описывает расследование команды разработчиков, направленное на выявление и устранение утечки памяти в приложении, написанном на языке программирования Go.

Несмотря на то, что Go использует сборку мусора для управления памятью, команда столкнулась с необычной утечкой, связанной с объектами SqliteRows, SqliteStmt и SqliteConn.​


Основные моменты статьи:
- Начало расследования: После сообщений от нескольких крупных клиентов о значительных проблемах с производительностью, команда начала собирать профили памяти и горутин, чтобы определить источник утечки.​

- Исключение горутин: Анализ показал отсутствие накопления активных горутин, что позволило исключить утечки, связанные с ними.​

- Обнаружение проблемы в драйвере SQLite3: График распределения объектов в памяти указал на утечку, связанную с драйвером SQLite3, используемым в приложении.​

- Анализ финализаторов: Команда обнаружила, что недавно добавленный финализатор для SqliteRows может вызывать блокировку единственной горутины, ответственной за выполнение всех финализаторов в Go. Это приводило к накоплению неосвобожденных объектов и, как следствие, к утечке памяти.​
Cyolo

- Использование инструмента goref: Для дальнейшего анализа команда применила инструмент goref, позволяющий картировать граф ссылок объектов в куче, что подтвердило отсутствие живых объектов, удерживающих утекшие данные, и указало на проблему в самом рантайме Go.​

- Обнаружение блокировки в go-smb2: В конечном итоге было выявлено, что блокировка в пакете go-smb2 приводила к остановке горутины финализатора, что вызывало утечку памяти.​
Cyolo

- Результаты и рекомендации: Команда сообщила о найденной проблеме сообществу Go, предложив улучшить документацию по финализаторам и внедрить метрики для обнаружения медленных или заблокированных очередей финализаторов.​

Статья подчеркивает важность тщательного анализа и командной работы при решении сложных проблем в программировании, а также необходимость понимания внутренних механизмов используемого языка и его инструментов.

📌 Читать